import pandas as pd
import plotly.express as px
import plotly.io as pio
pio.renderers.default = "notebook"
pd.set_option('display.max_colwidth', None)
d1 = pd.read_csv("pd0.csv")
d1
| tempo | triplas | |
|---|---|---|
| 0 | 33.851537 | 100 |
Exemplo de consulta:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
?p ?o.
} LIMIT 100
d2 = pd.read_csv("pd1.csv")
d2
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.530016 | Acórdão | 100 |
| 1 | 3.930276 | Agente | 100 |
| 2 | 2.715217 | Arma | 100 |
| 3 | 1.984832 | Arquivo | 100 |
| 4 | 1.974133 | Ativa | 100 |
| ... | ... | ... | ... |
| 132 | 1.699932 | Unidade Federativa | Estado | 100 |
| 133 | 0.488775 | Unidade Fiscal | 32 |
| 134 | 4.304760 | Usuário | 100 |
| 135 | 18.297863 | Órgão | 100 |
| 136 | 3.479428 | Evento | 100 |
137 rows × 3 columns
p = {'inválidas':d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0],'válidas':d2.shape[0]-d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes válidas')
fig.show()
d2['timeout'] = 'Não'
d2.loc[d2['triplas']==-1,'timeout'] = 'Sim'
p= d2['timeout'].value_counts().reset_index(name="count")
fig = px.pie(p,values='count', names='index', title='Percentual de classes com erros')
fig.show()
d2[d2['triplas']==-1]
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 50 | 1200.014525 | Estabelecimento RFB | -1 | Sim |
p = {'vazias':d2[d2['triplas']==0].shape[0],'povoadas':d2.shape[0]-d2[d2['triplas']==0].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes vazias')
fig.show()
d2[d2['triplas']==0]
| tempo | classe | triplas | timeout |
|---|
validas = d2[(d2['triplas']!=0) & (d2['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução, quando tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,20)
validas[validas['tempo']<20].describe()
| tempo | triplas | |
|---|---|---|
| count | 132.000000 | 132.000000 |
| mean | 1.922434 | 91.954545 |
| std | 2.129376 | 23.913924 |
| min | 0.449049 | 6.000000 |
| 25% | 0.586173 | 100.000000 |
| 50% | 1.175562 | 100.000000 |
| 75% | 2.708683 | 100.000000 |
| max | 18.297863 | 100.000000 |
fig = px.histogram(validas[validas['tempo']>=20], x="tempo",title="histograma de tempo de execução, quando tempo [20,inf]")
fig.show()
Consultas com tempo [20,inf)
validas[validas['tempo']>=20].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 84 | 467.920757 | Pessoa Física Cadastro SEFAZ | 100 | Não |
| 17 | 218.232326 | Contador | 100 | Não |
| 67 | 145.825752 | Item | 100 | Não |
| 70 | 20.242790 | Medicamento | 100 | Não |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> ?p ?o.
} LIMIT 100
d3 = pd.read_csv("pd2.csv")
d3
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.642048 | Acórdão | 5 |
| 1 | 0.384989 | Agente | 5 |
| 2 | 7.148921 | Arma | 8 |
| 3 | 3.402119 | Arquivo | 12 |
| 4 | 0.496099 | Ativa | 9 |
| ... | ... | ... | ... |
| 131 | 1.809943 | Unidade Federativa | Estado | 5 |
| 132 | 0.413984 | Unidade Fiscal | 4 |
| 133 | 5.331023 | Usuário | 4 |
| 134 | 4.643767 | Órgão | 5 |
| 135 | 2.429096 | Evento | 52 |
136 rows × 3 columns
d3[(d3['triplas']==0) | (d3['triplas']==-1)]
| tempo | classe | triplas | |
|---|---|---|---|
| 17 | 1200.096126 | Contador | -1 |
validas = d3[(d3['triplas']!=0) & (d3['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução, quando tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 115.000000 | 115.000000 |
| mean | 1.201421 | 10.339130 |
| std | 1.147824 | 13.531566 |
| min | 0.085986 | 2.000000 |
| 25% | 0.436443 | 5.000000 |
| 50% | 0.597893 | 8.000000 |
| 75% | 1.600685 | 10.000000 |
| max | 4.710323 | 100.000000 |
fig = px.histogram(validas[(validas['tempo']>=5) & (validas['tempo']<50)], x="tempo",title="histograma de tempo de execução, quando tempo [5,49]")
fig.show()
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 20.000000 | 20.000000 |
| mean | 57.708060 | 14.400000 |
| std | 102.892534 | 12.533744 |
| min | 5.331023 | 4.000000 |
| 25% | 8.128438 | 6.000000 |
| 50% | 13.424110 | 11.000000 |
| 75% | 56.563008 | 16.000000 |
| max | 426.545315 | 56.000000 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 83 | 426.545315 | Pessoa Física Cadastro SEFAZ | 16 |
| 24 | 231.526617 | Contribuinte IPVA | 6 |
| 66 | 118.682547 | Item | 7 |
| 49 | 84.544863 | Estabelecimento REDESIM | 56 |
| 25 | 74.917634 | Contribuinte Normal | 6 |
| 13 | 50.444799 | Combustível | 7 |
| 16 | 31.243815 | Consumidor | 13 |
| 26 | 26.519588 | Contribuinte Substituto Tributário | 6 |
| 48 | 15.248697 | Estabelecimento | 30 |
| 73 | 15.174934 | Não Contribuinte | 6 |
| 27 | 11.673286 | Contribuinte do Simples Nacional | 6 |
| 84 | 11.216698 | Pessoa Física REDESIM | 11 |
| 50 | 9.283636 | Estabelecimento SEFAZ | 30 |
| 99 | 8.523257 | Sanção | 13 |
| 32 | 8.454943 | Empresa Holding | 25 |
| 2 | 7.148921 | Arma | 8 |
| 126 | 6.420105 | Tipo do Estabelecimento | 16 |
| 95 | 5.678735 | Representante Legal | 11 |
| 96 | 5.581790 | Representante Legal Físico | 11 |
| 133 | 5.331023 | Usuário | 4 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> rdfs:label ?o.
} LIMIT 100
d4 = pd.read_csv("pd3.csv")
d4
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.172693 | Acórdão | 1 |
| 1 | 0.147747 | Agente | 1 |
| 2 | 4.421150 | Arma | 1 |
| 3 | 0.522060 | Arquivo | 1 |
| 4 | 0.156461 | Ativa | 1 |
| ... | ... | ... | ... |
| 131 | 0.152099 | Unidade Federativa | Estado | 1 |
| 132 | 0.164566 | Unidade Fiscal | 1 |
| 133 | 2.307640 | Usuário | 1 |
| 134 | 1.317737 | Órgão | 1 |
| 135 | 0.779166 | Evento | 1 |
136 rows × 3 columns
p = {'não tem label':d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0],'tem label':d4.shape[0]-d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes com recursos com labels')
fig.show()
d4[(d4['triplas']==0) | (d4['triplas']==-1)]
| tempo | classe | triplas |
|---|
validas = d4
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 129.000000 | 129.000000 |
| mean | 0.443917 | 1.031008 |
| std | 0.678683 | 0.174014 |
| min | 0.077483 | 1.000000 |
| 25% | 0.150006 | 1.000000 |
| 50% | 0.186350 | 1.000000 |
| 75% | 0.366489 | 1.000000 |
| max | 4.421150 | 2.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 7.000000 | 7.000000 |
| mean | 60.033093 | 1.142857 |
| std | 46.483953 | 0.377964 |
| min | 12.047356 | 1.000000 |
| 25% | 31.432800 | 1.000000 |
| 50% | 61.734719 | 1.000000 |
| 75% | 66.004893 | 1.000000 |
| max | 151.574190 | 2.000000 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 25 | 151.574190 | Contribuinte Normal | 1 |
| 50 | 68.182746 | Estabelecimento SEFAZ | 1 |
| 48 | 63.827040 | Estabelecimento | 1 |
| 17 | 61.734719 | Contador | 2 |
| 13 | 48.203070 | Combustível | 1 |
| 66 | 14.662529 | Item | 1 |
| 83 | 12.047356 | Pessoa Física Cadastro SEFAZ | 1 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
<http://www.sefaz.ma.gov.br/ontology/data_final> ?o.
} LIMIT 100
d5 = pd.read_csv("pd4.csv")
d5
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.088128 | Acórdão | data final | 0 |
| 1 | 0.269664 | Agente | name | 100 |
| 2 | 0.092510 | Agente | nome | 100 |
| 3 | 3.957996 | Agente | tem solicitação | 0 |
| 4 | 0.730868 | Agente | tem tipo de contribuição | 100 |
| ... | ... | ... | ... | ... |
| 867 | 0.077377 | Órgão | 0 | |
| 868 | 0.076480 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
| 869 | 0.799434 | Evento | tem solicitação | 100 |
| 870 | 0.450937 | Evento | código do evento | 90 |
| 871 | 0.411888 | Evento | descrição do evento | 68 |
872 rows × 4 columns
d5[(d5['triplas']==0) | (d5['triplas']==-1)]
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.088128 | Acórdão | data final | 0 |
| 3 | 3.957996 | Agente | tem solicitação | 0 |
| 6 | 0.083705 | Agente | cpf ou cnpj | 0 |
| 9 | 0.076307 | Agente | número de contato | 0 |
| 10 | 0.073522 | Agente | contact number | 0 |
| ... | ... | ... | ... | ... |
| 864 | 0.076061 | Órgão | tem matriz | 0 |
| 865 | 0.078910 | Órgão | cnpj raíz | 0 |
| 866 | 0.077380 | Órgão | razão social | 0 |
| 867 | 0.077377 | Órgão | 0 | |
| 868 | 0.076480 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
338 rows × 4 columns
p = {'inválida':d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0],'válida':d5.shape[0]-d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d5['erro']='Não'
d5.loc[d5['triplas']==-1,'erro']='Sim'
p = d5['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de propriedades de classes que deram erro')
fig.show()
Consultas com erro
d5[d5['triplas']==-1]
| tempo | classe | propriedade | triplas | erro |
|---|
p = {'propridade sem valor':d5[(d5['triplas']==0)].shape[0],'propridades com valor':d5.shape[0]-d5[(d5['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades com valores por classe')
fig.show()
Consultas com retorno vazio
d5[(d5['triplas']==0)]
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 0 | 0.088128 | Acórdão | data final | 0 | Não |
| 3 | 3.957996 | Agente | tem solicitação | 0 | Não |
| 6 | 0.083705 | Agente | cpf ou cnpj | 0 | Não |
| 9 | 0.076307 | Agente | número de contato | 0 | Não |
| 10 | 0.073522 | Agente | contact number | 0 | Não |
| ... | ... | ... | ... | ... | ... |
| 864 | 0.076061 | Órgão | tem matriz | 0 | Não |
| 865 | 0.078910 | Órgão | cnpj raíz | 0 | Não |
| 866 | 0.077380 | Órgão | razão social | 0 | Não |
| 867 | 0.077377 | Órgão | 0 | Não | |
| 868 | 0.076480 | Órgão | idêntico / igual / mesmo que / sameAs | 0 | Não |
338 rows × 5 columns
validas = d5[d5['triplas']!=-1]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução com tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 846.000000 | 846.000000 |
| mean | 0.476604 | 57.484634 |
| std | 0.801409 | 49.167379 |
| min | 0.063808 | 0.000000 |
| 25% | 0.084252 | 0.000000 |
| 50% | 0.140655 | 100.000000 |
| 75% | 0.432591 | 100.000000 |
| max | 4.914409 | 100.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 26.000000 | 26.000000 |
| mean | 36.724620 | 92.307692 |
| std | 36.470563 | 27.174649 |
| min | 5.347299 | 0.000000 |
| 25% | 7.147174 | 100.000000 |
| 50% | 16.959269 | 100.000000 |
| 75% | 50.552194 | 100.000000 |
| max | 125.251579 | 100.000000 |
Propriedades de classes com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 158 | 125.251579 | Empresa | Organização | Pessoa Jurídica | tem_deposito | 0 | Não |
| 405 | 102.735873 | Estabelecimento RFB | contact number | 100 | Não |
| 404 | 98.705093 | Estabelecimento RFB | número de contato | 100 | Não |
| 409 | 92.828169 | Estabelecimento RFB | telefone | 100 | Não |
| 340 | 76.902134 | Estabelecimento | razão social | 100 | Não |
| 408 | 73.788349 | Estabelecimento RFB | razão social | 100 | Não |
| 366 | 52.720649 | Estabelecimento | data de início das atividades do estabelecimento | 100 | Não |
| 413 | 44.046830 | Estabelecimento RFB | 100 | Não | |
| 403 | 42.986942 | Estabelecimento RFB | nome fantasia | 100 | Não |
| 402 | 41.685194 | Estabelecimento RFB | cnpj completo | 100 | Não |
| 169 | 39.378440 | Empresa | Organização | Pessoa Jurídica | tem solicitação | 100 | Não |
| 414 | 32.607784 | Estabelecimento SEFAZ | cnpj completo | 100 | Não |
| 411 | 17.911036 | Estabelecimento RFB | fax | 100 | Não |
| 410 | 16.007503 | Estabelecimento RFB | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 341 | 12.693788 | Estabelecimento | é contribuinte geral | 100 | Não |
| 38 | 11.362644 | Ativa | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 689 | 11.182800 | Situação Cadastral | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 339 | 10.473098 | Estabelecimento | nome fantasia | 100 | Não |
| 347 | 7.838654 | Estabelecimento | tem atividade econômica secundária | 100 | Não |
| 701 | 6.916681 | Situação Cadastral RFB | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 581 | 6.615991 | Pessoa Física Cadastro SEFAZ | nome | 100 | Não |
| 693 | 6.564415 | Situação Cadastral Cadastro da SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 57 | 6.502873 | Baixa de Ofício | idêntico / igual / mesmo que / sameAs | 0 | Não |
| 422 | 6.094480 | Estabelecimento SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 197 | 5.691819 | Empresa | Organização | Pessoa Jurídica | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 345 | 5.347299 | Estabelecimento | tem atividade econômica | 100 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
{
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
}
OPTIONAL{
?s ?p2 ?node.
filter(?p2 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?s))
}
}
d6 = pd.read_csv("pd5.csv")
d6
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.659344 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/34652930453-20_11_2019-03542420176 | 1 |
| 1 | 0.619981 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 1 |
| 2 | 2.203954 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 1.077224 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 1 |
| 4 | 0.626699 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 131 | 1.524015 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 132 | 0.495916 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 133 | 0.486332 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 134 | 7.081961 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/SECRETARIA_DE_ESTADO_DA_AGRICULTURA__ABASTECIMENTO_E_DESENVOLVIMENTO_RURAL_DO_DISTRITO_FEDERAL | 6 |
| 135 | 2.094219 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 47 |
136 rows × 4 columns
d6[(d6['triplas']==0) | (d6['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 2 | 2.203954 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 4 | 0.626699 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| 7 | 0.603120 | Baixa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXA_DE_OFICIO-30984323000128-2019_07_17 | 0 |
| 8 | 0.603559 | Baixada | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 9 | 0.577989 | CEP do Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/CEP_Logradouro/01021901 | 0 |
| 10 | 0.529563 | Cancelada | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/CANCELADA-23414786000199-2015_10_05 | 0 |
| 16 | 0.623199 | Consumidor | http://www.sefaz.ma.gov.br/resource/C115/Consumidor/0 | 0 |
| 29 | 2.757528 | Documento | http://xmlns.com/foaf/0.1/Document/CARTEIRA_DE_IDENTIDADE_PROFISSIONAL | 0 |
| 31 | 0.554843 | Emancipado | http://www.sefaz.ma.gov.br/resource/REDESIM/Emancipado/661333 | 0 |
| 37 | 0.621368 | Endereço | http://www.sefaz.ma.gov.br/resource/C115TELECOMUNICACAO/Endereco/1125922088 | 0 |
| 39 | 0.575407 | Endereço C115 Comunicação | http://www.sefaz.ma.gov.br/resource/C115COMUNICACAO/Endereco/1131315641 | 0 |
| 40 | 0.539911 | Endereço C115 Energia | http://www.sefaz.ma.gov.br/resource/C115ENERGIA/Endereco/0000000590 | 0 |
| 41 | 0.086950 | Endereço C115 Telecomunicação | http://www.sefaz.ma.gov.br/resource/C115TELECOMUNICACAO/Endereco/1125922088 | 0 |
| 43 | 0.700346 | Endereço NFE | http://www.sefaz.ma.gov.br/resource/NFE/Endereco/77485000111 | 0 |
| 47 | 0.590026 | Entidade Integrada | http://www.sefaz.ma.gov.br/resource/REDESIM/Entidade_Integrada/9921 | 0 |
| 53 | 3.018167 | Fornecedor | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Fornecedor/1000289000101 | 0 |
| 65 | 0.644686 | Infração | http://www.sefaz.ma.gov.br/resource/CEI/Infracao/1 | 0 |
| 69 | 0.559429 | Medicamento | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Medicamento/319166471 | 0 |
| 70 | 2.243016 | Nacionalidade | http://www.sefaz.ma.gov.br/resource/REDESIM/Nacionalidade/BRASILEIRA | 0 |
| 71 | 0.511222 | Natureza Legal | Natureza Jurídica | http://www.sefaz.ma.gov.br/resource/DOMINIO/Natureza_Legal/1309 | 0 |
| 73 | 0.543708 | Não Contribuinte | http://www.sefaz.ma.gov.br/resource/DOMINIO/Nao_Contribuinte_ICMS/680710 | 0 |
| 75 | 0.525155 | Obrigação | http://www.sefaz.ma.gov.br/resource/CEI/Obrigacao/%20Implantação%20de%20Iluminação%20Pública%20na%20Av.%20Anita%20Viana | 0 |
| 78 | 0.532623 | Opção pelo regime SIMPLES | http://www.sefaz.ma.gov.br/resource/RFB/Opcao_Simples/NAO-00000000 | 0 |
| 80 | 0.526496 | País | http://www.sefaz.ma.gov.br/resource/DOMINIO/Pais/AFEGANISTAO | 0 |
| 81 | 0.536380 | Periodicidade | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Periodicidade/ANUAL | 0 |
| 85 | 0.819713 | Pessoa Física RFB | http://www.sefaz.ma.gov.br/resource/RFB/Pessoa/___000000__-AILTO_NECKEL_DE_SOUZA | 0 |
| 86 | 0.561466 | Porte da Empresa | Porte Empresarial | Porte | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Porte/PEQUENO_PORTE | 0 |
| 88 | 1.360875 | Produto | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Medicamento/319166444 | 0 |
| 89 | 0.511678 | Protocolo | http://www.sefaz.ma.gov.br/resource/REDESIM/Protocolo/MAP1601308248 | 0 |
| 91 | 1.912074 | Qualificação do Sócio ou Representante | http://www.sefaz.ma.gov.br/resource/DOMINIO/Qualificacao/ACIONISTA | 0 |
| 92 | 0.528331 | Razão | Motivo de Situação Cadastral | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Razao_Situacao_Cadastral/1 | 0 |
| 100 | 0.696617 | Seção CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_SECAO-EDUCACAO | 0 |
| 101 | 0.497437 | Situação Cadastral | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/ATIVA-47736987000170-2022_08_26 | 0 |
| 102 | 0.212115 | Situação Cadastral Cadastro da SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 103 | 0.514047 | Situação Cadastral REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/ATIVA-24604343000123-2016_04_15 | 0 |
| 104 | 2.383195 | Situação Cadastral RFB | http://www.sefaz.ma.gov.br/resource/RFB/Situacao_Cadastral/ATIVA-00000000000191-2005_11_03 | 0 |
| 105 | 0.498383 | Situação Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Fiscal/12587099-HABILITADO | 0 |
| 106 | 0.593101 | Situação especial | http://www.sefaz.ma.gov.br/resource/RFB/Situacao_Especial/00002342-1998_02_13 | 0 |
| 114 | 0.522133 | Status de Envio | http://www.sefaz.ma.gov.br/resource/REDESIM/Status_Envio/PENDENTE_ENVIO | 0 |
| 117 | 0.686898 | Suspensa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/SUSPENSA_DE_OFICIO-40031232000121-2021_10_12 | 0 |
| 122 | 0.528161 | Tipo Ato | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Ato/INSCRICAO | 0 |
| 123 | 0.505815 | Tipo de Contribuição | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Contribuicao/NAO_CONTRIBUINTE | 0 |
| 124 | 0.493643 | Tipo de Propriedade | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Propriedade/PROPRIO | 0 |
| 125 | 0.523407 | Tipo de Regime Tributário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tipo_Regime_Tributario/SIMPLES_NACIONAL | 0 |
| 126 | 0.482610 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 131 | 1.524015 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 132 | 0.495916 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 133 | 0.486332 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
p = {'inválida':d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0],'válida':d6.shape[0]-d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d6['erro'] = 'Não'
d6.loc[d6['triplas']==-1,'erro']='Sim'
p = d6['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
p = {'nós sem relações':d6[(d6['triplas']==0)].shape[0],'nós com relações':d6.shape[0]-d6[(d6['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual nós sem relações por classe')
fig.show()
validas = d6[(d6['triplas']!=0) & (d6['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<30], x="tempo",title="histograma de tempo de execução com tempo [0,30)")
fig.show()
fig = px.histogram(validas[validas['tempo']>=8], x="tempo",title="histograma de tempo de execução com tempo [8,inf)")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 75.000000 | 75.000000 |
| mean | 1.659394 | 5.813333 |
| std | 1.577082 | 15.296788 |
| min | 0.068316 | 1.000000 |
| 25% | 0.611007 | 1.000000 |
| 50% | 0.994661 | 2.000000 |
| 75% | 2.183615 | 6.000000 |
| max | 7.081961 | 125.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 13.000000 | 1.300000e+01 |
| mean | 105.278214 | 2.101380e+05 |
| std | 193.196334 | 4.878794e+05 |
| min | 11.430621 | 1.000000e+00 |
| 25% | 16.884184 | 3.000000e+00 |
| 50% | 27.483093 | 6.000000e+00 |
| 75% | 99.587585 | 1.720000e+02 |
| max | 713.076678 | 1.307015e+06 |
Recursos com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 15 | 713.076678 | Conceito | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/0111302 | 1307015 | Não |
| 115 | 228.280945 | Subclasse CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/0111302 | 1307015 | Não |
| 5 | 124.067418 | Atividade Econômica | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_CLASSE-ALUGUEL_DE_AERONAVES | 1 | Não |
| 12 | 99.587585 | Classe CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_CLASSE-ALUGUEL_DE_AERONAVES | 1 | Não |
| 49 | 54.141441 | Estabelecimento REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Estabelecimento/57240000122 | 172 | Não |
| 66 | 30.085812 | Item | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Item/10005580310100055788 | 3 | Não |
| 14 | 27.483093 | Compra Pública | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Compra_Publica/5613 | 2 | Não |
| 42 | 20.803409 | Endereço Cadastro da SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Endereco/12000000 | 3 | Não |
| 48 | 18.855591 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000239 | 64 | Não |
| 68 | 16.884184 | Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Logradouro/01001000-DA_SE-SE | 3 | Não |
| 6 | 12.488469 | Bairro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Bairro/1°_NOVO_LOTEAMENTO_BUSCARDI-TAQUARITINGA | 6 | Não |
| 35 | 11.431540 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | 117445 | Não |
| 50 | 11.430621 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000239 | 64 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
?o ?p3 ?o2.
filter(?p3 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o2))
}
d7 = pd.read_csv("pd6.csv")
d7
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.706438 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/34652930453-20_11_2019-03542420176 | 2 |
| 1 | 0.890009 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 1.594218 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.638301 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.041757 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 131 | 0.631450 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 132 | 0.764968 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 133 | 0.786726 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 134 | 0.750502 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/SECRETARIA_DE_ESTADO_DA_AGRICULTURA__ABASTECIMENTO_E_DESENVOLVIMENTO_RURAL_DO_DISTRITO_FEDERAL | 0 |
| 135 | 3.365319 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 217 |
136 rows × 4 columns
d7[(d7['triplas']==0) | (d7['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 1 | 0.890009 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 1.594218 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.638301 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.041757 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| 7 | 0.986540 | Baixa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXA_DE_OFICIO-30984323000128-2019_07_17 | 0 |
| ... | ... | ... | ... | ... |
| 126 | 0.699257 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 131 | 0.631450 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 132 | 0.764968 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 133 | 0.786726 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 134 | 0.750502 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/SECRETARIA_DE_ESTADO_DA_AGRICULTURA__ABASTECIMENTO_E_DESENVOLVIMENTO_RURAL_DO_DISTRITO_FEDERAL | 0 |
90 rows × 4 columns
p = {'inválidas':d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0],'válidas':d7.shape[0]-d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de recursos com duas propriedades em cadeia por classe válidos')
fig.show()
d7['erro'] = 'Não'
d7.loc[d7['triplas']==-1,'erro']='Sim'
p = d7['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
validas = d7[(d7['triplas']!=0) & (d7['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução com tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 43.000000 | 43.000000 |
| mean | 2.074318 | 14.186047 |
| std | 1.842371 | 34.645316 |
| min | 0.139312 | 1.000000 |
| 25% | 0.994188 | 2.000000 |
| 50% | 1.211216 | 3.000000 |
| 75% | 2.880217 | 10.500000 |
| max | 7.897294 | 217.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 3.000000 | 3.000000 |
| mean | 11.238873 | 44384.333333 |
| std | 0.641560 | 76739.979048 |
| min | 10.760151 | 17.000000 |
| 25% | 10.874388 | 78.500000 |
| 50% | 10.988626 | 140.000000 |
| 75% | 11.478235 | 66568.000000 |
| max | 11.967844 | 132996.000000 |
Consultas com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 36 | 11.967844 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 17 | Não |
| 49 | 10.988626 | Estabelecimento REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Estabelecimento/57240000122 | 140 | Não |
| 35 | 10.760151 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | 132996 | Não |